Cha mẹ ông là Tạ Đình Ky và Lê Thị Duyên (còn gọi là bà Phó Ỳ). Ông có sáu anh em ruột. Người anh Tạ Đình Thái là liệt sĩ chống Pháp từ năm 1950, người chị Tạ Thị Ào là Bà mẹ Việt Nam Anh hùng. Mẹ và các chị đều ủng hộ cán bộ cách mạng hoạt động từ thời kỳ tiền khởi nghĩa.[6]
Phu nhân của ông là Đặng Thị Thọ. Bà là con nhà tư sản Nghĩa Tường Đặng Thị Huyền, giàu có tiếng ở số 8 Hàng Ngang, Hà Nội. Bà mất năm 2003 tại Hà Nội.
